神经体系结构搜索(NAS)是一种用于深度学习设计自动化的自动化体系结构工程方法,它是模型开发,选择,评估和性能估算的手动和错误过程的替代方法。但是,NAS的一个主要障碍是非常苛刻的计算资源需求和耗时的迭代,尤其是在数据集尺度时。在本文中,针对新兴视觉变压器(VIT),我们提出了NASHD,这是一种基于高度计算的监督学习模型,以对给定架构和配置的性能进行排名。与其他基于学习的方法不同,由于HDC体系结构的高平行处理,NASHD的速度更快。我们还评估了两个HDC编码方案:基于革兰氏阴性的NASHD的性能和效率。在来自不同范围的8个应用程序的Vimer-Ufo基准数据集上,NASHD记录可以对近100K视觉变压器模型的性能进行排名,而该模型的性能约为1分钟,同时仍可以通过复杂的模型来取得可比的结果。
translated by 谷歌翻译
无监督的视频域适应是一项实用但具有挑战性的任务。在这项工作中,我们第一次从脱离视图中解决了它。我们的关键想法是在适应过程中将与域相关的信息从数据中删除。具体而言,我们考虑从两组潜在因素中生成跨域视频,一个编码静态域相关信息,另一个编码时间和语义相关的信息。然后开发转移顺序的VAE(Transvae)框架以建模这种产生。为了更好地适应适应,我们进一步提出了几个目标,以限制Transvae中的潜在因素。与几种最先进的方法相比,对UCF-HMDB,小丑和Epic-Kitchens数据集进行了广泛的实验验证了Transvae的有效性和优势。代码可在https://github.com/ldkong1205/transvae上公开获取。
translated by 谷歌翻译
作为一种新颖的深度学习模型,GCFOREST已被广泛用于各种应用中。但是,当前的GCFOREST多透明扫描会产生许多冗余特征向量,这增加了模型的时间成本。为了筛选冗余特征向量,我们引入了一种用于多透明扫描的哈希筛选机制,并提出了一种称为HW-Forest的模型,该模型采用了两种策略,即哈希筛选和窗口筛选。 HW-Forest采用感知散列算法来计算哈希筛选策略中特征向量之间的相似性,该策略用于删除由多透明扫描产生的冗余特征向量,并可以大大降低时间成本和记忆消耗。此外,我们采用了一种自适应实例筛选策略来提高我们的方法的性能,称为窗口筛选,可以实现更高的精度,而无需在不同数据集上进行超参数调整。我们的实验结果表明,HW-Forest的精度比其他模型更高,并且时间成本也降低。
translated by 谷歌翻译
作为深度学习模式,深入信心筛查森林(GClestcs)在各种应用中取得了巨大的成功。与传统的深森林方法相比,GcForestcs通过将一些实例直接传递到最后阶段,有效地减少了高度的情况。然而,在高置信区中存在一组具有低精度的实例,其被称为错误分区的实例。要查找这些错误分区实例,本文提出了一个深入的融合信心筛选森林(DBC-Forest)模型,基于他们的信心将所有情况包装成垃圾箱。以这种方式,可以将更准确的实例传递到最终阶段,并且性能得到改善。实验结果表明,DBC-Forest对相同的超参数实现高度准确的预测,比其他类似模型更快,以实现相同的准确性。
translated by 谷歌翻译
Uyghur语音常常遇到辅音和元音减少,这可能导致Uyghur自动语音识别(ASR)的性能下降。我们最近提出的基于掩蔽的学习策略,电话遮蔽训练(PMT),减轻了这种现象在Uyghur Asr的影响。尽管PMT实现了显着改进,但由于PMT(音素)和建模单元(字件)的掩模单元之间的粒度不匹配,仍然存在进一步提升的空间。为了提高PMT的性能,我们提出了PMT(PM-MET)的多建模单元训练(MMUT)架构融合。 MUT框架的概念是将编码器分成两个部分,包括声学级表示(AF-TO-PLR)和音素级表示的声学特征序列(PLR-TO-WPLR)。它允许通过基于中间音素的CTC丢失来优化AF-To-PLR,以了解PMT带来的富音素级上下文信息。 UYGHUR ASR上的实验结果表明,该提出的方法显着改善,优于纯PMT(减少24.0至23.7,在Read-Test上,分别在口服检验中的38.4至36.8。我们还使用ESPNET1对960小时的LibrisPeech基准进行实验,该基准测试在没有LM Fusion的所有测试集上实现约10%的相对WER减少,与最新的ESPNET1预先训练的模型相比。
translated by 谷歌翻译
学习和概括与少数样本(少量学习)的新概念仍然是对现实世界应用的重要挑战。实现少量学习的原则方法是实现一种可以快速适应给定任务的上下文的模型。已经显示动态网络能够有效地学习内容自适应参数,使其适用于几次学习。在本文中,我们建议将卷积网络的动态内核作为手掌的任务的函数学习,从而实现更快的泛化。为此,我们基于整个任务和每个样本获得我们的动态内核,并在每个单独的频道和位置进行进一步调节机制。这导致动态内核,同时考虑可用的微型信息。我们经验证明,我们的模型在几次拍摄分类和检测任务上提高了性能,实现了几种基线模型的切实改进。这包括最先进的结果,以4次拍摄分类基准:迷你想象,分层 - 想象成,幼崽和FC100以及少量检测数据集的竞争结果:Coco-Pascal-VOC。
translated by 谷歌翻译
从有限的例子中学习和推广,我,e,几次拍摄的学习,对许多真实世界视觉应用的核心重要性是核心重要性。实现少量学习的主要方法是实现来自不同类别的样本是独特的嵌入的嵌入。最近的研究表明,通过双曲线几何嵌入较低的分层和结构化数据,使其适合几次拍摄的学习。在本文中,我们建议学习上下文知识的双曲标准,以表征与学习集合的点与设置距离相关联的点之间的距离。为此,我们将度量标准作为双曲线空间的切线束上的加权总和,并制定自适应地并基于点的星座获得重量的机制。这不仅使得公制本地,而且依赖于手头的任务,这意味着度量根据它比较的样本。我们经验证明,这种度量在异常值存在下产生鲁棒性,并实现基线模型的切实改善。这包括五个流行的少量分类基准,即迷你想象,分层 - 想象成,CALTECH-UCSD鸟-200-2011(幼崽),CIFAR-FS和FC100的最先进的结果。
translated by 谷歌翻译
For Prognostics and Health Management (PHM) of Lithium-ion (Li-ion) batteries, many models have been established to characterize their degradation process. The existing empirical or physical models can reveal important information regarding the degradation dynamics. However, there is no general and flexible methods to fuse the information represented by those models. Physics-Informed Neural Network (PINN) is an efficient tool to fuse empirical or physical dynamic models with data-driven models. To take full advantage of various information sources, we propose a model fusion scheme based on PINN. It is implemented by developing a semi-empirical semi-physical Partial Differential Equation (PDE) to model the degradation dynamics of Li-ion-batteries. When there is little prior knowledge about the dynamics, we leverage the data-driven Deep Hidden Physics Model (DeepHPM) to discover the underlying governing dynamic models. The uncovered dynamics information is then fused with that mined by the surrogate neural network in the PINN framework. Moreover, an uncertainty-based adaptive weighting method is employed to balance the multiple learning tasks when training the PINN. The proposed methods are verified on a public dataset of Li-ion Phosphate (LFP)/graphite batteries.
translated by 谷歌翻译
It is crucial to evaluate the quality and determine the optimal number of clusters in cluster analysis. In this paper, the multi-granularity characterization of the data set is carried out to obtain the hyper-balls. The cluster internal evaluation index based on hyper-balls(HCVI) is defined. Moreover, a general method for determining the optimal number of clusters based on HCVI is proposed. The proposed methods can evaluate the clustering results produced by the several classic methods and determine the optimal cluster number for data sets containing noises and clusters with arbitrary shapes. The experimental results on synthetic and real data sets indicate that the new index outperforms existing ones.
translated by 谷歌翻译
Feature transformation for AI is an essential task to boost the effectiveness and interpretability of machine learning (ML). Feature transformation aims to transform original data to identify an optimal feature space that enhances the performances of a downstream ML model. Existing studies either combines preprocessing, feature selection, and generation skills to empirically transform data, or automate feature transformation by machine intelligence, such as reinforcement learning. However, existing studies suffer from: 1) high-dimensional non-discriminative feature space; 2) inability to represent complex situational states; 3) inefficiency in integrating local and global feature information. To fill the research gap, we formulate the feature transformation task as an iterative, nested process of feature generation and selection, where feature generation is to generate and add new features based on original features, and feature selection is to remove redundant features to control the size of feature space. Finally, we present extensive experiments and case studies to illustrate 24.7\% improvements in F1 scores compared with SOTAs and robustness in high-dimensional data.
translated by 谷歌翻译